#RL training

3 篇

TeamGym: A Gym for Team Decision-Making by AI Agents with Distributed Information

TeamGym：分布式信息下 AI 智能体团队决策的训练与评估环境

🧭 多智能体分布式信息决策与协同训练 ★ 深度解读

MIT · KAIST · UT Austin · University of Maryland

构建可控团队决策环境，量化并训练多智能体在分布式关键信息下的沟通与检索能力

📌 工作参考价值（4 点）

在电商/客服/搜索多 Agent 编排中，先拆出任务的最小关键事实集合（类似 PIU），分别测量「沟通 gap」和「检索 gap」，定位问题是信息没检索出来还是没在 Agent 间传好，而不是只看单智能体能力
协调器/主 Agent 的 query 设计要宽而明确：论文显示窄 query 会让持有关键信息的 Agent 只回答部分证据；给每个专家 Agent 加 public 的职责标签，并要求「报告所有相关证据类别」，可明显减少 gap
消息 token 预算影响很大：从 32 提到 128 tokens 成功率 55.3%→78.6%，但再提不涨；在线上多做消息长度 trade-off，给关键 Agent 设消息长度下限
用最终决策 reward 做 GRPO 联合训练通信策略，即使不直接奖励协调行为，也能自动涌现轮询所有专家、短 query 等协议；可迁移到多 Agent 推荐/问答工作流优化，但注意 held-out 域迁移可能只转移行为不转移最终质量

MultiAgent | 2026-10-27 | cs.AI | score 8/10

前缀滑动：高效测试时扩展

🧭 长程推理 · 前缀滑动窗口 ★ 深度解读

Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington

保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速

📌 工作参考价值（4 点）

长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。

Reasoning | 2026-08-26 | cs.LG | score 8/10

分组熵控制的策略优化

🧭 LLM强化学习训练 · 分组熵控制

Shanghai AI Laboratory

提出分组熵控制优势塑造方法，解决多任务 RL 训练中探索-利用失衡与优势不可比问题

📌 工作参考价值（5 点）

面向电商/Agent从业者的可借鉴点：
训练多任务推荐 Agent 时，不同任务（如商品推荐、对话引导）的探索需求不同，可引入分组熵控制，对低熵任务（已学好的模板）适度压制正优势以减少过度利用，对高熵任务（新品类）保留负优势以鼓励探索，避免全局熵调度的僵化。
若在推荐对话 Agent 中采用 GRPO 类算法，GEPO 只需在已有分组样本上计算组熵并修正优势，改动微小，适合作为轻量级工程优化直接集成。
自适应阈值的思路（用历史熵移动平均动态决定何时干预）可迁移到推荐系统的 Bandit/RL 策略中，实时调整探索系数，无需手动调参。
GEPO 不引入额外模型，仅利用现有采样组统计量，对线上推理无侵入，符合生产环境对低 overhead 的要求。

Training | 2026-07-17 | HF Daily | score 6/10